آپاچی اسپارک با جاوا - Spark را از یک استاد بزرگ داده بیاموزید [ویدئو]

سرفصل ها و درس ها

با آپاچی اسپارک شروع کنید Get Started with Apache Spark

• بررسی اجمالی دوره The Course Overview

• مقدمه ای بر اسپارک Introduction to Spark

• جاوا و گیت را نصب کنید Install Java and Git

• پروژه Spark را با IntelliJ IDEA راه اندازی کنید Set up Spark project with IntelliJ IDEA

• پروژه Spark را با Eclipse راه اندازی کنید Set up Spark project with Eclipse

• اولین کار Spark ما را اجرا کنید Run our first Spark job

RDD RDD

• مبانی RDD RDD Basics

• RDD ها را ایجاد کنید Create RDDs

• تبدیل نقشه و فیلتر Map and Filter Transformation

• راه حل مسئله فرودگاه ها بر اساس عرض جغرافیایی Solution to Airports by Latitude Problem

• تبدیل FlatMap FlatMap Transformation

• تنظیم عملیات Set Operation

• اقدامات Actions

• حل مسئله جمع اعداد Solution to Sum of Numbers Problem

• جنبه های مهم در مورد RDD Important Aspects about RDD

• خلاصه ای از عملیات RDD Summary of RDD Operations

• ذخیره سازی و ماندگاری Caching and Persistence

معماری اسپارک و اجزای سازنده Spark Architecture and Components

• معماری جرقه Spark Architecture

• اجزای جرقه Spark Components

RDD را جفت کنید Pair RDD

• مقدمه ای بر جفت RDD Introduction to Pair RDD

• ایجاد جفت RDD Create Pair RDDs

• تبدیل‌های فیلتر و MapValue در جفت RDD Filter and MapValue Transformations on Pair RDD

• کاهش با تجمع کلید Reduce By Key Aggregation

• نمونه راه حل برای مشکل خانه متوسط Sample solution for the Average House problem

• گروه بر اساس تبدیل کلید Group by Key Transformation

• مرتب سازی بر اساس تبدیل کلید Sort by Key Transformation

• نمونه راه حل برای مسئله شمارش کلمات مرتب شده Sample Solution for the Sorted Word Count Problem

• پارتیشن بندی داده ها Data Partitioning

• به عملیات بپیوندید Join Operations

موضوع جرقه پیشرفته Advanced Spark Topic

• آکومولاتورها Accumulators

• راه حل مشکل پیگیری StackOverflow Survey Solution to StackOverflow Survey Follow-up Problem

• متغیرهای پخش Broadcast Variables

Spark SQL Spark SQL

• مقدمه ای بر Spark SQL Introduction to Spark SQL

• Spark SQL در عمل Spark SQL in Action

• عمل Spark SQL: مشکل قیمت خانه Spark SQL practice: House Price Problem

• Spark SQL Joins Spark SQL Joins

• مجموعه داده با تایپ قوی Strongly Typed Dataset

• از Dataset یا RDD استفاده کنید Use Dataset or RDD

• تبدیل مجموعه داده و RDD Dataset and RDD Conversion

• تنظیم عملکرد Spark SQL Performance Tuning of Spark SQL

در حال اجرا جرقه در یک خوشه Running Spark in a Cluster

• مقدمه ای بر Running Spark in a Cluster Introduction to Running Spark in a Cluster

• Package Spark Application and Use Spark-submit Package Spark Application and Use spark-submit

• برنامه Spark را در خوشه آمازون EMR (Elastic MapReduce) اجرا کنید Run Spark Application on Amazon EMR (Elastic MapReduce) cluster